Klug sinh tại Želva, Litva, là con của cặp vợ chồng người Do Thái Lazar và Bella (nhũ danh Silin) Klug. Khi lên 2 tuổi gia đình ông di chuyển tới Nam Phi.

Ông tốt nghiệp cử nhân khoa học ở Đại học Witwatersrand, sau đó học ngành Tinh thể học ở Đại học Cape Town rồi sang Anh học tiếp. Năm 1953 ông đậu bằng tiến sĩ ở Trinity College, Đại học Cambridge.

Cuối năm 1953 ông tới làm việc ở Birkbeck College thuộc Đại học London chung với Rosalind Franklin tại phòng thí nghiệm của John Bernal. Thí nghiệm này đã gợi lên cho ông một quan tâm suốt đời về nghiên cứu các virus. Trong thời gian làm việc ở đây, ông đã khám phá ra cấu trúc của tobacco mosaic virus[2]. Năm 1962 ông chuyển sang làm việc ở Phòng thí nghiệm Sinh học phân tử mới được xây dựng ở Cambridge. Trong thập niên tiếp theo, Klug sử dụng các phương pháp X-ray diffraction[3], soi kính hiển vi và mô phỏng cấu trúc để triển khai việc soi kính hiển vi điện tử các tinh thể, trong đó một chuỗi các hình ảnh hai chiều của các tinh thể lấy ra từ các góc độ khác nhau được phối hợp để tạo ra các hình ảnh ba chiều của mục tiêu.

Ông được Đại học Columbia trao giải Louisa Gross Horwitz năm 1981. Từ năm 1986 tới năm 1996 ông là giám đốc Phòng thí nghiệm Sinh học phân tử (Laboratory of Molecular Biology) ở Cambridge. Năm 1988 ông được phong tước hầu. Ông được bầu làm chủ tịch Royal Society[4] từ 1995–2000. Năm 1995, ông được thưởng Order of Merit[5] – theo tục lệ, thường dành cho chủ tịch của Royal Society. Ông cũng là ủy viên của Hội đồng quản trị của The Scripps Research Institute[6].

Năm 2005 ông được thưởng huy chương vàng Order of Mapungubwe của Nam Phi cho các thành tựu đặc biệt trong Y học.[7]